Invisible to the Machine: Auditing AI Restaurant, Cafe, and Bar Recommendation Against a Complete Market Census
AI看不见的餐饮商家:基于全量市场普查的推荐审计
🧭 AI推荐审计与可见性分析
Norly Research
首次在全量市场普查下审计AI餐饮推荐,发现85.6%的场所从未被推荐,可见性由评论量、网站等数字足迹驱动,而非评分。
📌 工作参考价值(4 点)
- 全量审计方法可迁移:若电商/平台拥有完整商品或商家目录,可按此方法全面评估推荐系统的覆盖偏差,而非依赖抽样审计,发现长尾曝光不足的真实程度。
- 可见性双阶段洞察:入场(召回)由文档丰富度(评论量、价格信息、网站)决定,排序才由评分主导。启示:提升新品/冷启动物品的召回率应优先填充文本属性与外部引用,而非单纯追求评分。
- 陈旧信息风险:AI系统易推荐已关闭/下架商品(93次 vs. 编造仅0.08%),要求业务侧确保知识库或商品状态的实时更新,防止无效推荐损害体验。
- 多系统协同不确定性:不同AI之间一致性低(Jaccard 0.33-0.54),商户依赖单一系统引流风险高;平台若使用LLM生成推荐内容,需测试多个模型的一致性,或进行后处理融合。